
RNN效率媲美Transformer,谷歌新架构两连发:同等规模强于Mamba
RNN效率媲美Transformer,谷歌新架构两连发:同等规模强于Mamba去年 12 月,新架构 Mamba 引爆了 AI 圈,向屹立不倒的 Transformer 发起了挑战。如今,谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。
来自主题: AI技术研报
5220 点击 2024-03-03 18:10
去年 12 月,新架构 Mamba 引爆了 AI 圈,向屹立不倒的 Transformer 发起了挑战。如今,谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。
Google 最近在大模型上动作不断,先是发布了性能更强大的多模态 Gemini 1.5 Pro,然后是开源的小模型 Gemma,评测结果超过了 7b 量级的 Llama 2。
Google DeepMind首席执行官Hassabis最近在接受WIRED采访时表示,AI技术现在还有很大的改进空间,还远没有到只能拼算力的时候。谷歌的优势在于科研能力,未来智能体将改变AI的格局。
面对当前微调大模型主要依赖人类生成数据的普遍做法,谷歌 DeepMind 探索出了一种减少这种依赖的更高效方法。
谷歌带着Gemini真的来了,多模态能力震惊全网。下一代模型将融合AlphaGo深度强化学习技术,2024年面世。真正可以叫板GPT-4的模型,当属谷歌Gemini。
继谷歌DeepMind AI工具成功预测出220万种晶体结构后,微软团队最新扩散模型MatterGen,能设计生成新颖、稳定的材料,刷新SOTA。